Recommender System as Slow and Fast Thinkers
序列推荐中的快慢双系统自适应推理框架
🧭 自适应快慢推理 · 序列推荐 ★ 深度解读
City University of Hong Kong · University of Electronic Science and Technology of China · Shanghai Jiao Tong University · Fenz.AI · University of Science and Technology of China
提出 DS-Frame 插件式快慢推理框架，用样本级路由只对难样本做多步 latent refinement，在 SASRec/BERT4Rec 上平均提升约 7%
📌 工作参考价值（4 点）
- 在不改主排序模型架构的前提下，把「一次性前向」升级为「共享 encoder + 轻量 slow path + 路由 gate」。线上可以按 latency budget 调整慢路径激活率或阈值，适合精排/粗排做样本级算力分配。
- Selector 训练直接用 fast/slow 的 loss + 成本比较构造 oracle 标签，再用 budget regularizer 约束激活率；这种方法不用额外标注，业务里可先在离线训练 gate，在线只过 MLP，成本可控且路由可解释。
- Slow System 不重新 encode 整条用户序列，而是在共享表示后逐步拼接 reasoning token 做 latent refinement；配合 step embedding、KL 连续性和渐进温度退火，能稳定多步推理。可迁移到 LLM-based Rec 或 Agent 生成中间推理轨迹时稳定输出。
- 评估不仅看整体 NDCG/HR，还按用户历史长度和物品流行度分层看 group-wise 收益。电商推荐中长历史、小众兴趣用户往往是难例，这种分层能直接看到自适应推理是否真的补到短板。